ตระกูลสตาฟฟอร์ดเป็นตระกูลขุนนางที่ดองกับราชวงศ์อังกฤษในปี ค.ศ. 1390 เมื่อธอมัส สตาฟฟอร์ด เอิร์ลที่ 3 แห่งสตาฟฟอร์ดสมรสกับแอนน์แห่งกลอสเตอร์ พระราชนัดดาของพระเจ้าเอ็ดเวิร์ดที่ 3 โดยเธอเป็นธิดาของธอมัสแห่งวูดสต็อก ดยุคแห่งกลอสเตอร์ พระราชโอรสคนสุดท้ายของกษัตริย์ ทว่าหลังสมรสได้สองปี ธอมัส สตาฟฟอร์ดถึงแก่กรรมโดยไร้ทายาท

ในปี ค.ศ. 1398 แอนน์สมรสกับเอ็ดมันด์ เอิร์ลที่ 5 แห่งสตาฟฟอร์ด น้องชายของธอมัส ทั้งคู่มีบุตรด้วยกันสามคน ฮัมฟรีย์ สตาฟฟอร์ด บุตรชายคนเดียวของทั้งคู่เป็นผู้นำที่มีชื่อเสียงทั้งในช่วงสงครามร้อยปีและสงครามดอกกุหลาบ ในปี ค.ศ. 1444 เขาได้รับการแต่งตั้งเป็นดยุคที่ 1 แห่งบักกิงแฮม และได้สมรสกับแอนน์ เนวิลล์ ธิดาของราล์ฟ เนวิลล์ เอิร์ลแห่งเวสต์มอร์แลนด์ กับโจน โบฟอร์ท พระราชนัดดาของพระเจ้าเอ็ดเวิร์ดที่ 3 โดยเธอเป็นธิดาของจอห์นแห่งกอนท์ ดยุคแห่งแลงคัสเตอร์ พระราชโอรสคนที่สามของกษัตริย์ การสมรสทำให้ฮัมฟรีย์กลายเป็นคู่เขยของริชาร์ด ดยุคแห่งยอร์ก และเป็นน้องเขยของริชาร์ด เนวิลล์ เอิร์ลที่ 5 แห่งซอลส์บรี

ฮัมฟรีย์กับแอนน์มีบุตรด้วยกันหลายคน บุตรชายคนโตของทั้งคู่ คือ ฮัมฟรีย์ สตาฟฟอร์ด เอิร์ลแห่งสตาฟฟอร์ด ซึ่งสมรสกับมาร์กาเร็ต โบฟอร์ท ธิดาของเอ็ดมันด์ โบฟอร์ท ดยุคที่ 2 แห่งซอเมอร์เซ็ตซึ่งเป็นบุตรชายของจอห์น โบฟอร์ท เอิร์ลที่ 1 แห่งซอเมอร์เซ็ต พี่ชายของโจน โบฟอร์ท

เฮนรี สตาฟฟอร์ดซึ่งเป็นบุตรชายของฮัมฟรีย์ สตาฟฟอร์ด เอิร์ลแห่งสตาฟฟอร์ดกับมาร์กาเร็ตโบฟอร์ทจึงถือเป็นญาติใกล้ชิดของราชวงศ์ เนื่องจากปู่ย่าตายายสามในสี่คนของเขาสืบเชื้อสายมาจากพระเจ้าเอ็ดเวิร์ดที่ 3